BACKGROUND: Although radiological pneumonia is used as an outcome measure in epidemiological studies, there is considerable variability in the interpretation of chest radiographs. A standardized method for identifying radiological pneumonia would facilitate comparison of the results of vaccine trials and epidemiological studies of pneumonia. METHODS: A WHO working group developed definitions for radiological pneumonia. Inter-observer variability in categorizing a set of 222 chest radiographic images was measured by comparing the readings made by 20 radiologists and clinicians with a reference reading. Intra-observer variability was measured by comparing the initial readings of a randomly chosen subset of 100 radiographs with repeat readings made 8-30 days later. FINDINGS: Of the 222 images, 208 were considered interpretable. The reference reading categorized 43% of these images as showing alveolar consolidation or pleural effusion (primary end-point pneumonia); the proportion thus categorized by each of the 20 readers ranged from 8% to 61%. Using the reference reading as the gold standard, 14 of the 20 readers had sensitivity and specificity of > 0.70 in identifying primary end-point pneumonia; 13 out of 20 readers had a kappa index of > 0.6 compared with the reference reading. For the 92 radiographs deemed to be interpretable among the 100 images used for intra-observer variability, 19 out of 20 readers had a kappa index of > 0.6. CONCLUSION: Using standardized definitions and training, it is possible to achieve agreement in identifying radiological pneumonia, thus facilitating the comparison of results of epidemiological studies that use radiological pneumonia as an outcome.
OBJETIVO: Aunque la neumonía radiológica se usa en estudios epidemiológicos como medida de resultado, se observa una considerable variabilidad en la interpretación de las radiografías torácicas. Un método estandarizado de identificación de la neumonía radiológica facilitaría la comparación de los resultados de los ensayos de vacunas y los estudios epidemiológicos sobre la neumonía. MÉTODOS: Un grupo de trabajo de la OMS elaboró definiciones de neumonía radiológica. Para medir la variabilidad interobservadores en la tarea de clasificar un conjunto de 222 imágenes de radiografías torácicas, se procedió a comparar las lecturas realizadas por 20 radiólogos y clínicos frente a una lectura de referencia. La variabilidad intraobservador se midió comparando las lecturas iniciales de un subconjunto de 100 radiografías seleccionadas al azar con las repeticiones de esas lecturas al cabo de entre 8 y 30 días. RESULTADOS: De las 222 imágenes, 208 se consideraron interpretables. La lectura de referencia clasificó el 43% de las imágenes como indicativas de consolidación alveolar o derrame pleural (criterio principal de valoración de la existencia de neumonía); la proporción así clasificada por los 20 lectores de las imágenes osciló entre el 8% y el 61%. Comparando con la lectura de referencia, 14 de los 20 lectores presentaron una sensibilidad y especificidad > 0,70 en la identificación de los criterios principales de neumonía; 13 de los 20 lectores presentaron un índice kappa > 0,6 en comparación con la lectura de referencia. Para las 92 radiografías consideradas interpretables entre las 100 imágenes usadas para determinar la variabilidad intraobservador, 19 de los 20 lectores presentaron un índice kappa > 0,6. CONCLUSIÓN: Usando definiciones y adiestramiento normalizados, es posible acordar un procedimiento para identificar la neumonía radiológica, y facilitar así la comparación de los estudios epidemiológicos que usan ese signo como resultado.
OBJECTIF: Bien que la pneumonie radiologique soit utilisée comme critère de jugement dans les études épidémiologiques, on relève une variabilité considérable dans l'interprétation des radiographies pulmonaires. Une méthode standardisée pour l'identification des pneumonies radiologiques faciliterait la comparaison des résultats des essais vaccinaux et des études épidémiologiques concernant la pneumonie. MÉTHODES: Un groupe de travail de l'OMS a mis au point des définitions de la pneumonie radiologique. Il a évalué la variabilité interobservateur dans le classement d'une série de 222 clichés radiographiques des poumons, en comparant les lectures faites par 20 radiologues et cliniciens à une lecture de référence. Il a mesuré cette variabilité par comparaison des premières lectures d'une sous-série de 100 radiographies choisies de manière aléatoire avec les nouvelles lectures réalisées 8 à 30 jours plus tard. RÉSULTATS: Parmi les 222 clichés, 208 ont été considérés comme interprétables. La lecture de référence a classé 43 % de ces radiographies comme présentant une consolidation alvéolaire ou un épanchement pleural (critère d'évaluation primaire : pneumonie), tandis que la proportion de clichés classés dans cette catégorie par les 20 lecteurs allait de 8 à 61 %. Si l'on utilise la lecture de référence comme étalon, 14 des 20 lecteurs ont fait preuve d'une sensibilité et d'une spécificité > 0,70 dans l'identification du critère d'évaluation primaire, à savoir la pneumonie. Treize des 20 lecteurs obtenaient un coefficient kappa > 0,6 par rapport à la lecture de référence. Concernant la lecture des 92 radiographies jugées interprétables parmi les 100 clichés utilisés pour évaluer la variabilité interobservateur, on a déterminé un coefficient kappa > 0,6 pour 19 des 20 lecteurs. CONCLUSION: En recourant à des définitions et à une formation standardisées, il est possible de parvenir à un accord dans l'identification de la pneumonie radiologique, ce qui facilite la comparaison des résultats des études épidémiologiques utilisant la pneumonie radiologique comme critère de jugement.
